Археологи полагают, что первые поселения на островах Каролинского архипелага появились 4000 лет назад. Однако наиболее известные археологические памятники на островах Понпеи, Косрае и Япе относятся к концу I - началу II тысячелетия н.э. Это монументальные сооружения на рифах в виде платформ, сложенных из кораллового щебня и облицованных базальтовыми плитами. На этих платформах возводили жилые и храмовые комплексы, хоронили умерших и совершали различные ритуалы. Наиболее известны такого рода памятники в Нан-Мадоле (о.Темен, шт. Понпеи) и на о.Лелу (шт. Косрае). Первые европейцы застали на о.Япе одно- и двухярусные платформы с храмами и мужскими домами. Воображение мореплавателей поразили громадные каменные диски с отверстием в центре, стоявшие вдоль дорог или у стен платформ, которые служили япцам в качестве денег. Вырубленные из базальта или арагонита, они доставлялись морем с о.Палау. Образцы этих необычных денег сохранились на Япе до сих пор.

В 1526 мореплаватель ди Менезиги открыл о-ва Яп, а в 1528 Альваро Сааведра впервые увидел о-ва Трук (совр. Чуук). В 1685 капитан галеона Франсиско Лазеано вновь обнаружил о.Яп и назвал его в честь здравствовавшего короля Испании - Ла-Каролине. Позднее это наименование было перенесено на весь архипелаг (еще не открытый полностью), который был объявлен владением испанской короны. В 1710 испанцам стали известны острова Палау и Сонсорол. Первые католические миссионеры во главе с Антонио Кантовой прибыли в 1731 с о.Гуам на атолл Улити, но были убиты островитянами. Это событие приостановило на некоторое время попытки испанцев обратить в христианскую веру население Каролин. С конца 18 в. архипелаг начали посещать торговые и научные британские, французские и даже российские суда. Так, в 1828 русский мореплаватель Ф.П.Литке открыл острова Понапе (Понпеи), Ант и Пакин и назвал эту островную группу в честь адмирала Д.Н.Сенявина его именем.

С 1830 сюда часто заходили американские китобои, а в 1852 американские евангелисты основали на островах Понпеи и Косрае протестантскую миссию. Поскольку владычество Испании над Каролинскими о-вами всегда было лишь номинальным, во второй половине 19 в. туда проникли немецкие торговцы и колонисты, в первую очередь на о.Понпеи, а затем на о.Яп, где в 1869 приобрели 1215 га земли под плантации кокосовой пальмы, торговые фактории и поселения. В феврале 1899 Германия купила у Испании Каролинский архипелаг и владела им до начала Первой мировой войны. Осенью 1914 вся Микронезия была оккупирована японскими войсками.

Официально Япония получила мандат Лиги наций на управление Микронезией только в 1921. Территорию Каролинских о-вов она использовала в экономических целях (лов рыбы, производство муки из маниока и спирта из сахарного тростника) и для создания военно-морских и военно-воздушных баз. По отношению к коренному населению Япония проводила политику насильственной ассимиляции. На островах возникли японские поселения. Только на Труке после Второй мировой войны проживали 35 тыс. японцев, которые заняли лучшие земли. Следы японского господства сохранились во внешнем облике каролинцев, в их языке и именах. Многие старики до сих пор говорят по-японски. Каролины, как и вся Микронезия и Меланезия, были освобождены от японских войск армией США в ходе кровопролитных боев на Тихом океане.

В 1947 ООН создала в Океании Подопечную Территорию Тихоокеанские Острова (ПТТО), в которую входили, наряду с Каролинскими, Маршалловы и северные Марианские острова (кроме о.Гуам). Управление ПТТО было возложено на США. Административный центр ПТТО находился в городе Колония на Понапе. Одной из первоочередных задач, стоявших перед США, являлось восстановление хозяйственной инфраструктуры островов, разрушенной в результате войны, а в дальнейшем "содействие экономическому прогрессу и независимости ее обитателей", т.е. подготовка ПТТО к самоуправлению и независимости. С этой целью в 1963 был создан двухпалатный законодательный орган - Конгресс Микронезии с административным центром в городе Колония. В 1967 Конгресс создал комиссию по будущему политическому статусу ПТТО, которая разрабатывала рекомендации для Конгресса и вела переговоры с США.

Одним из результатов этой многолетней работы стал референдум 12 июля 1978, на котором население округов Трук (Чуук), Понапе (Понпеи), Яп и Кусаие (Косрае) высказалось за создание Федеративных Штатов Микронезия. Уже 10 мая 1979 была принята Конституция ФШМ, а осенью прошли первые выборы в Национальный конгресс, а также губернаторов четырех штатов. Президентом страны стал бывший президент Конгресса Микронезии Тосиво Накайама. Он же сформировал первый в истории страны кабинет министров. Президент и правительство приступили к выполнению своих обязанностей в январе 1980. На протяжении 1979-1986 США последовательно осуществляли передачу управленческих функций новому главе государства и правительству. Вопросы внешней политики и обороны ФШМ оставались прерогативой США.